Hello everyone, my name is Wang Yang, I am from Baidu, and I am very happy to come to DEF CON to share with you the new trends in the security industry.
Today, I am going to introduce to you the work we do in the field of AI exchange chain detection.
First of all, let me introduce to you how AI exchange chain is made and the technology behind it.
Then I will introduce to you two methods of AI exchange chain detection.
We already know how to exchange images or videos.
In the past, we used Photoshop and other image editing software for manual operation.
This requires certain skills for the operator.
This process takes time and effort.
Now, we have DeepFake.
This is a technology that appeared at the end of 2017.
It can automatically exchange images or videos.
The efficiency is greatly improved.
As long as the operator has a GPU machine, they can train the model and make it themselves.
It is not just about operating the threshold.
It is also about reducing the size of the image.
And the video we make can also achieve the effect of using a fake needle.
Please play the video.
Video
This is a video from Youtube.
The left side of the video is a real face.
And the right side is a fake one.
大家看是不是做得很逼真 用AI进行视频换脸 这个技术有很广阔的应用前景 比如说美国一个博物馆在银屏上复活了艺术大师达里
对于电视台 比如说北京电视台 它可以在节目中让不适合出现的主持人消失
那DeepFake这项技术呢 就是让一个视频中让某些人出现 或者说让某些人消失
既然人应该消失
但在银眼很多情况下很难识别出假脸 那么人脸识别模型是不是可以呢
大家看到的是微软的人脸识别服务 左边是真脸尼古拉斯凯奇 右边是星球大战的一个人物 他被换成了凯奇的脸
他们这张脸的人脸对比呢 相似度有86
这是第二张第二组图片
被换脸的是总统美国总统
相似度70.5%
这个对于微软的人脸识别服务 他们会判定这两个人是一个人
这是亚马逊的人脸识别服务
对于亚马逊的人脸识别第一组图片的相似度能达到95%
第二组图片相似度能达到87%
既然机器和肉眼
既然人脸识别服务和
人脸识别服务和
人肉眼都无法分辨,那么我们是如何来进行AI换脸检测的呢?
首先我先给大家介绍一下DeepFake,AI换脸是怎么样,换脸视频是怎么样制作的。
它首先是将视频的每一帧抽取每一帧,然后找到目标人脸,对人脸进行换脸,然后再放回到人脸原来的位置。
它所伪造的人脸是人脸的中心区域,而不是整个的图像。
所以这个过程不是端对端的,
就不是说为给模型原图生成出是原图,不是这样的。
DeepFake模型是基于自动编码器,它有两组自动编码器,每组都含有一个编码器和一个解码器。
自动编码器会将图片进行降维表示。
自动编码器会将图片进行降维表示。
解码器会对图片进行解码,恢复到原图。
在训练过程中,需要保持输入的图片和输出的图片差异尽量小。
这两组编码器分别对两个人进行编码和解码。
他们。
这两组编码器的,这两组编码器的,这两组自动编码器的编码器是共享,是共享权重的。
实际上呢,他们是属于一个编码器。
在训练过程中,我们需要这两个人的许多张图片,分别训练这两组编码器。
这样在转换的时候。
转换的时候,A人脸通过编码,可以再通过B的编码器还原成B人脸。
同样的,B人脸也可以被解码成A的人脸。
在转换的过程中。
首先我们要借助人脸,人脸检测。
找到,先使用人脸检测系统,找到对齐的人脸。
输入到编码器,然后呢,通过另一组解码器,得到伪造的人脸。
再放回原图,然后进行融合。
我们看到,这个女孩的人脸被凯琪的人脸所替换。
他们俩的表情是一样的。
我们介绍第一种方法。
第一种方法是基于卷积神经网络。
通过卷积神经网络,是目前进行图片分类的一种主流的方式。
我们使用了一种浅层的CNN。
我们试图让他抓住笔记。
我们使用了一个比较低层次的图像特征。
我们刚才看到的人脸视频。
从目前来讲,DeepFake它目前所产生的假脸,有时候会产生一些容易被发现的痕迹。
比如说,边缘生硬。
比如说,边缘生硬。
在视频中人脸会有抖动。
还有颜色模糊。
还有人脸扭曲。
颜色不均等情况发生。
颜色不均等情况发生。
我们第一种方法就是呢。
我们第一种方法输入模型的呢,就包含了这种融合边缘的信息。
我们第一种方法输入模型的呢,就包含了这种融合边缘的信息。
我们第一种方法输入模型的呢,就包含了这种融合边缘的信息。
他首先利用。
我们第一种方法就是呢,就包含了这种融合边缘的信息。
人脸检测器来找到人脸的核心区域,然后进行外延。
人脸检测器来找到人脸的核心区域,然后进行外延。
这样就包含了融合边缘的信息。
这样就包含了融合边缘的信息。
我们的数据集是开源的。
我们的数据集是开源的。
There are high-quality and low-quality images.
After using human face detection to find the core area of the human face,
we used 0.5x, which is actually a 1.5x human face frame.
During the training, we also improved the data
and released the images.
This is the model we used.
As you can see, there are only three layers.
We used the LE-2E LU function.
Although it is simple, it is very effective.
The accuracy rate can reach 99%.
The accuracy rate of this method is very low.
In other words, the real face is rarely identified as a fake face.
This is a very good feature.
Next, I will introduce you to our second method.
It is based on the human face detection model.
As I mentioned just now,
the human face detection model is actually very difficult to distinguish between the real face and the fake face.
However, the second method is to use the human face detection model.
How do we do it?
First, I will introduce you to FaceNet.
FaceNet is open source.
It is one of the most popular human face recognition frames right now.
It is a typical depth CNN.
FaceNet will print the input human face.
It will print the image into the size of 512.
It will print the image into the size of 512.
When people compare faces, they actually calculate the corresponding distance between these two faces.
For example, the European distance.
The fewer the number, the more similar these two faces are.
The method we use is similar to the one we just introduced.
The only difference is that the images we use in this method are only the core area of the face.
We use FistNet to extract the volume as the feature of our training model.
We use SVM as our second class.
Here, FistNet is actually used as a feature extractor.
The accuracy of this method is 94%.
This method actually uses higher-level features.
This is the face-to-face feature.
Next, I will show you the demonstration effect of the first method.
Please play the video.
This is based on the simple CNN method.
The accuracy is 99%.
This is the second method.
Both methods received 98% accuracy.
Please, try this method everyone.
Please, try our second method.
Finally, I would much like to underline that
we have introduced an oligarch who is also a manager of SNS and digital technology.
换脸视频的方法
换脸视频有很多针
实际上我们只要对某一些针
确认它为假脸
我们就可以判定
它这个视频是伪造的
目前伪造视频
目前伪造视频
有很严重的安全威胁
举一个例子
现在用DeepFake技术来制作假新闻
用于诽谤 造谣这些勾当
还有人利用DeepFake来制作
勒索 敲诈这类的视频
所以我们需要一个技术来检测
这类
这类安全威胁
我们所介绍的第一种方法
是基于CNN的
是一个简单的CNN网络
虽然简单
但是它能工作得很好
我们这种网络呢
提取的更多的是低层次的特征
基于人脸
第二种基于人脸识别模型的检测方法
它更多的是使用高层次的
更抽象的人脸的特征
在第一 我们发现在第一种方法
所错误分类的图片中
我们在使用第二种方法
就是基于人脸识别模型进行检测的话
准确率还能达到64%
这说明这两种方法
使用的特征是不一样的
谢谢大家
我的演讲讲完了
